我们研究了无限 - 马,连续状态和行动空间的政策梯度的全球融合以及熵登记的马尔可夫决策过程(MDPS)。我们考虑了在平均场状态下具有(单隐层)神经网络近似(一层)神经网络近似的策略。添加了相关的平均场概率度量中的其他熵正则化,并在2-Wasserstein度量中研究了相应的梯度流。我们表明,目标函数正在沿梯度流量增加。此外,我们证明,如果按平均场测量的正则化足够,则梯度流将成倍收敛到唯一的固定溶液,这是正则化MDP物镜的独特最大化器。最后,我们研究了相对于正则参数和初始条件,沿梯度流的值函数的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析,并扩展了Mei等人的开拓性工作。 2020和Agarwal等。 2020年,量化表格环境中熵调控MDP的策略梯度的全局收敛速率。
translated by 谷歌翻译
Despite the remarkable success achieved by graph convolutional networks for functional brain activity analysis, the heterogeneity of functional patterns and the scarcity of imaging data still pose challenges in many tasks. Transferring knowledge from a source domain with abundant training data to a target domain is effective for improving representation learning on scarce training data. However, traditional transfer learning methods often fail to generalize the pre-trained knowledge to the target task due to domain discrepancy. Self-supervised learning on graphs can increase the generalizability of graph features since self-supervision concentrates on inherent graph properties that are not limited to a particular supervised task. We propose a novel knowledge transfer strategy by integrating meta-learning with self-supervised learning to deal with the heterogeneity and scarcity of fMRI data. Specifically, we perform a self-supervised task on the source domain and apply meta-learning, which strongly improves the generalizability of the model using the bi-level optimization, to transfer the self-supervised knowledge to the target domain. Through experiments on a neurological disorder classification task, we demonstrate that the proposed strategy significantly improves target task performance by increasing the generalizability and transferability of graph-based knowledge.
translated by 谷歌翻译
从积极和未标记的数据(又称PU学习)中学习的问题已在二进制(即阳性与负面)分类设置中进行了研究,其中输入数据包括(1)从正类别及其相应标签的观察结果,((( 2)来自正面和负面类别的未标记观察结果。生成对抗网络(GAN)已被用来将问题减少到监督环境中,其优势是,监督学习在分类任务中具有最新的精度。为了生成\ textIt {pseudo}阴性观察,甘恩(GAN)接受了正面和未标记的观测值的培训,并修改了损失。同时使用正面和\ textit {pseudo} - 阴性观察会导致监督的学习设置。现实到足以替代缺失的负类样品的伪阴性观察的产生是当前基于GAN的算法的瓶颈。通过在GAN体系结构中加入附加的分类器,我们提供了一种基于GAN的新方法。在我们建议的方法中,GAN歧视器指示发电机仅生成掉入未标记的数据分布中的样品,而第二分类器(观察者)网络将GAN训练监视为:(i)防止生成的样品落入正分布中; (ii)学习正面观察和负面观测之间的关键区别的特征。四个图像数据集的实验表明,我们训练有素的观察者网络在区分实际看不见的正和负样本时的性能优于现有技术。
translated by 谷歌翻译
细分是MRI医学图像分析中最重要的任务之一,通常是许多临床应用中的第一步也是最关键的步骤。在大脑MRI分析中,头部分割通常用于测量和可视化大脑的解剖结构,也是其他应用的必要步骤,例如电脑摄影和磁脑摄影(EEG/MEG)中的电流源重建。在这里,我们提出了一个深度学习框架,该框架可以仅使用T1加权MRI作为输入来分割大脑,头骨和颅外组织。此外,我们描述了一种在嘈杂标签的存在下训练模型的强大方法。
translated by 谷歌翻译